当前的深度神经网络被高度参数化（多达数十亿个连接权重）和非线性。然而，它们几乎可以通过梯度下降算法的变体完美地拟合数据，并达到预测准确性的意外水平，而不会过度拟合。这些是巨大的结果，无视统计学习的预测，并对非凸优化构成概念性挑战。在本文中，我们使用来自无序系统的统计物理学的方法来分析非凸二进制二进制神经网络模型中过度参数化的计算后果，该模型对从结构上更简单但“隐藏”网络产生的数据进行了培训。随着连接权重的增加，我们遵循误差损失函数不同最小值的几何结构的变化，并将其与学习和概括性能相关联。当解决方案开始存在时，第一次过渡发生在所谓的插值点（完美拟合变得可能）。这种过渡反映了典型溶液的特性，但是它是尖锐的最小值，难以采样。差距后，发生了第二个过渡，并具有不同类型的“非典型”结构的不连续外观：重量空间的宽区域，这些区域特别是解决方案密度且具有良好的泛化特性。两种解决方案共存，典型的解决方案的呈指数数量，但是从经验上讲，我们发现有效的算法采样了非典型，稀有的算法。这表明非典型相变是学习的相关阶段。与该理论建议的可观察到的现实网络的数值测试结果与这种情况一致。
translated by 谷歌翻译
深度学习的成功揭示了神经网络对整个科学的应用潜力，并开辟了基本的理论问题。特别地，基于梯度方法的简单变体的学习算法能够找到高度非凸损函数的近最佳最佳最小值，是神经网络的意外特征。此外，这种算法即使在存在噪声的情况下也能够适合数据，但它们具有出色的预测能力。若干经验结果表明了通过算法实现的最小值的所谓平坦度与概括性性能之间的可再现相关性。同时，统计物理结果表明，在非透露网络中，多个窄的最小值可能与较少数量的宽扁平最小值共存，这概括了很好。在这里，我们表明，从“高边缘”（即局部稳健的）配置，从最小值的聚结会出现宽平坦的结构。尽管与零保证金相比具有呈指数稀有的稀有性，但高利润最小值倾向于集中在特定地区。这些最小值又被较小且较小的边距的其他解决方案包围，导致长距离的溶液区域密集。我们的分析还提供了一种替代分析方法，用于估计扁平最小值，当算法开始找到解决方案时，随着模型参数的数量变化。
translated by 谷歌翻译